| 科学家虚构出一种疾病,科学骗过AI ,家虚甚至还被正式论文援引了 |
编译|李思辉 周欣怡
眼睛酸痛、构出过发痒,种疾至还长时分盯着屏幕后 ,病骗被正眼皮还舒适泛着粉色。甚式论事科把这些症状输进给AI聊天机械人,文援它大年夜大年夜约会一本正派地陈述你 :你得了一种叫“蓝光狂躁症”(Bixonimania)的引旧病。但问题是学网,这类病根柢不存在 。科学
不日 ,家虚《天然》刊发的构出过一篇报导指出 ,瑞典哥德堡除夜学医学研究员阿尔米拉·奥斯马诺维奇·通斯特伦(Almira Osmanovic Thunström)和团队专心虚构了一种疾病,种疾至还并以博客和预印本编制宣布于群集平台,病骗被正以此来测试除夜言语模型会不会把这一偏向信息细心。甚式论事科下场,多款主流AI琐细不单信感应真,还在此根本上一本正派地“给出安康建议” 。
更朴实的是,有学者在论文及参考文献中援引了这个子虚疾病的表述,顺利宣布了一篇论文 。前不久 ,相干论文已被撤稿 。
图为豆包AI生成
一场专心虚构的“假病”考验考验
“蓝光狂躁症”并不是天然涌如今医学文献中 。2024年3月15日,关于它的两篇博客文章起首涌如今Medium平台上;4月26日和5月6日,两篇相干与印本文章又涌如今学术敷衍群集SciProfiles上。这两篇论文的作者一样是虚构的,连头像都是AI生成的。
奥斯马诺维奇说,本身之所以筹划这场考验考验,最初是为了向师长教师演示除夜言语模型是若何构成“常识”的 。解释注解中 ,她经常会提到Common Crawl数据库——这是一个对互联网内容举办除夜局限抓取的数据库,也是良多AI琐细获守信息的次要本源之一。
她想晓得 ,假定本身平空建造出一种数据库里本来真实不存在的病症,会不会被AI抓取到 ,并算作刚毅信息输进。
因为经久从事医疗局限研究,她决意把考验考验对象设定为一种与眼周症状相干的虚构病症 ,并取名为Bixonimania(蓝光狂躁症) 。她后来诠释说,这个名字本身就专心起得“很荒诞”——因为在真实医学定名中,眼科疾病几近不成能用“mania”(躁狂症)多么的肉体病学术语来定名。她本来感应 ,任何除夜夫或医务人员一看就会创作创造问题 。
为了假得更较着 ,她还在文中埋下了多处线索 。比如 ,捏做作者地址的“阿斯特里亚地平线除夜学”真实不存在,黉舍位于一样不存在的“新星城”。论文称谢中还展示了“企业号星舰上的考验考验室”“鲍勃传授初级棍骗研究基金会” ,和“护戒联盟除夜学”等较着荒诞的设定 。
更直接的是,文中还写了“整篇论文都是虚构的”“考验考验组由50名虚构浅近构成”等提示 。但即便如斯,这场考验考验仍是“成功”骗过AI 。
AI和研究者都上了当
在有关Bixonimania的信息宣布后不久 ,多款主流AI琐细最早把它算作真实病症对外输进。
2024年4月13日,微软Copilot称“Bixonimania切实其实是一种令人沉沦且绝对罕有的疾病”;不合天 ,谷歌Gemini陈述用户,它是一种由过分泄漏于蓝光激起的疾病;AI搜刮引擎Perplexity则给出了罹病率等细节;OpenAI的ChatGPT甚至会屈就用户描摹的症状 ,分化可否罹患这类病症 。
这让一些研究人员感应震动。伦敦除夜学学院研究安康偏向信息的博士研究员亚历克斯·鲁阿尼(Alex Ruani)展示 ,假定连科学研究过程及其面前的信息过滤琐细都没法辨认并支撑多么较着的子虚内容,那么下场将特别很是严重。“这是关于偏向信息和子虚信息若何运作的一堂大年夜师课。”她说。
为甚么AI会中招?研究人员认为 ,一个关头启事在于 ,这类虚构信息披上了“学术论文”的外套 。在此外一项针对20个除夜言语模型的研究中,哈佛医学院研究人员马赫穆德·奥马尔(Mahmud Omar)创作创造 ,当输进文本看起来像病院出院记实或临床论文等专业医学材料 ,而非敷衍媒体上的帖子时,模型更随便展示幻觉,并扩大年夜大年夜大年夜大年夜偏向信息。
受愚的不单是AI,这项虚构研究后来甚至还涌如今正式宣布的医学论文中 。个中一篇宣布于Cureus杂志的论文援引了相干与印本文章 。该论文将Bixonimania描摹为一种“与蓝光泄漏相干的新兴眼周黑色素繁华编制”